Video event extraction aims to detect salient events from a video and identify the arguments for each event as well as their semantic roles. Existing methods focus on capturing the overall visual scene of each frame, ignoring fine-grained argument-level information. Inspired by the definition of events as changes of states, we propose a novel framework to detect video events by tracking the changes in the visual states of all involved arguments, which are expected to provide the most informative evidence for the extraction of video events. In order to capture the visual state changes of arguments, we decompose them into changes in pixels within objects, displacements of objects, and interactions among multiple arguments. We further propose Object State Embedding, Object Motion-aware Embedding and Argument Interaction Embedding to encode and track these changes respectively. Experiments on various video event extraction tasks demonstrate significant improvements compared to state-of-the-art models. In particular, on verb classification, we achieve 3.49% absolute gains (19.53% relative gains) in F1@5 on Video Situation Recognition.
translated by 谷歌翻译
近年来，由于其在数字人物，角色产生和动画中的广泛应用，人们对3D人脸建模的兴趣越来越大。现有方法压倒性地强调了对面部的外部形状，质地和皮肤特性建模，而忽略了内部骨骼结构和外观之间的固有相关性。在本文中，我们使用学习的参数面部发电机提出了雕塑家，具有骨骼一致性的3D面部创作，旨在通过混合参数形态表示轻松地创建解剖上正确和视觉上令人信服的面部模型。雕塑家的核心是露西（Lucy），这是与整形外科医生合作的第一个大型形状面部脸部数据集。我们的Lucy数据集以最古老的人类祖先之一的化石命名，其中包含正牙手术前后全人头的高质量计算机断层扫描（CT）扫描，这对于评估手术结果至关重要。露西（Lucy）由144次扫描，分别对72名受试者（31名男性和41名女性）组成，其中每个受试者进行了两次CT扫描，并在恐惧后手术中进行了两次CT扫描。根据我们的Lucy数据集，我们学习了一个新颖的骨骼一致的参数面部发电机雕塑家，它可以创建独特而细微的面部特征，以帮助定义角色，同时保持生理声音。我们的雕塑家通过将3D脸的描绘成形状混合形状，姿势混合形状和面部表达混合形状，共同在统一数据驱动的框架下共同建模头骨，面部几何形状和面部外观。与现有方法相比，雕塑家在面部生成任务中保留了解剖学正确性和视觉现实主义。最后，我们展示了雕塑家在以前看不见的各种花式应用中的鲁棒性和有效性。
translated by 谷歌翻译
未校准的光度立体声（UPS）由于未知光带来的固有歧义而具有挑战性。现有的解决方案通过将反射率明确关联到光条件或以监督方式解决光条件来减轻歧义。本文建立了光线线索和光估计之间的隐含关系，并以无监督的方式解决了UPS。关键思想是将反射率表示为四个神经内在字段，即\ ie，位置，光，镜头和阴影，基于神经光场与镜面反射和铸造阴影的光线线索隐含相关联。神经内在字段的无监督，关节优化可以不受训练数据偏差和累积误差，并完全利用所有观察到的像素值的UPS值。我们的方法在常规和具有挑战性的设置下，在公共和自我收集的数据集上获得了优于最先进的UPS方法的优势。该代码将很快发布。
translated by 谷歌翻译
GAN倒置旨在将输入图像倒入预训练GAN的潜在空间中。尽管GAN倒置最近取得了进步，但减轻失真和编辑性之间的权衡仍然存在挑战，即准确地重建输入图像并以较小的视觉质量下降来编辑倒置图像。最近提出的关键调整模型通过使用两步方法将输入图像转变为潜在代码，称为枢轴代码，然后改变生成器，以便可以准确映射输入图像，从而取得了重大进展，从而取得了重大进展。进入枢轴代码。在这里，我们表明可以通过适当的枢轴代码设计来改进重建和编辑性。我们提出了一种简单而有效的方法，称为“循环编码”，以提供高质量的枢轴代码。我们方法的关键思想是根据周期方案在不同空间中逐步训练编码器：w-> w+ - > w。该训练方法保留了W+空间的性质，即W+的低畸变的高编辑性。为了进一步减少失真，我们还建议使用基于优化的方法来完善枢轴代码，其中引入正则化项以减少编辑性的降解。对几种最新方法的定性和定量比较证明了我们方法的优势。
translated by 谷歌翻译
基础模型正在成为主要的深度学习技术。由于模型参数和训练数据集的大规模，预处理基础模型始终耗时。除了计算密集型外，培训过程还非常密集和沟通密集。这些功能使得需要应用3D并行性，该平行性整合数据并行性，管道模型并行性和张量模型并行性，以实现高训练效率。为了实现这一目标，开发了一些自定义软件框架，例如Megatron-LM和DeepSpeed。但是，当前的3D平行框架仍然符合两个问题：i）它们对模型开发人员不透明，这些开发人员需要手动修改模型以并行化培训。 ii）它们对计算，GPU存储器和网络带宽的利用不足。我们提出了Merak，这是一个自动化的3D并行性深度学习培训框架，并具有高度资源利用。 Merak会自动使用自动模型分区仪部署，该分区仪在模型的代理表示上使用图形sharding算法。 Merak还提出了非侵入性的API，用于通过最小的代码修改来扩展基础模型培训。此外，我们在Merak设计了高性能的3D平行运行时引擎。它使用多种技术来利用可用的培训资源，包括移动的关键路径管道时间表，该计划带来了更高的计算利用率，阶段感知的重新计算，可利用空闲工作者的记忆以及子额定张量的模型并行性，这些模型并联与通信和计算重叠。 64 GPU的实验显示，Merak可以加快在最新的3D平行性框架上，具有1.5、2.5、8.3和20亿的模型框架，最高可达1.42x，1.39x，1.43x和1.61 x分别。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
在本文中，我们介绍了VCSL（视频复制段本地化），这是一种新的综合段级注释的视频复制数据集。与受视频级注释或小规模限制的现有复制检测数据集相比，VCSL不仅具有两个段级标签的数据级，其中有160k现实的视频副本对，其中包含超过280k的本地化copied seggment对，而且还包含超过280k涵盖各种视频类别和各种视频持续时间。每个收集的视频对中的所有复制段均经过手动提取，并伴随着精确注释的启动和结束时间戳。除了数据集外，我们还提出了一种新颖的评估协议，该协议可以更好地衡量视频对之间复制重叠段的预测准确性，并在不同情况下显示出改善的适应性。通过使用拟议的数据集和评估指标对几个基线和最先进的细分级视频副本检测方法进行基准测试，我们提供了一项全面的分析，可以揭示当前方法的优势和劣势作品。 VCSL数据集，公制和基准代码均在https://github.com/alipay/vcsl上公开获得。
translated by 谷歌翻译
深处神经网络（例如Deep-FSMN）已被广泛研究以用于关键字发现（KWS）应用。但是，这些网络的计算资源通常受到重大限制，因为它们通常在边缘设备上在通话中运行。在本文中，我们提出了BIFSMN，这是KWS的准确且极高的二元神经网络。我们首先为二进制化训练构建了高频增强蒸馏方案，该方案强调了全优先网络表示的高频信息，这对于对二进制网络的优化更为重要。然后，为了在运行时允许即时和自适应的准确性效率折衷，我们还提出了一个可稀薄的二进制架构，以从拓扑角度进一步解放二进制网络的加速潜力。此外，我们在ARMV8设备上为BIFSMN实施了快速的位计算内核，该内核充分利用了寄存器并增加了指令吞吐量以突破部署效率的极限。广泛的实验表明，BIFSMN通过说服各种数据集的利润率优于现有的二进制方法，甚至与全精度对应物相当（例如，语音命令v1-12下降少于3％）。我们强调的是，BIFSMN受益于稀薄的体系结构和优化的1位实现，可以在现实世界中的Edge硬件上实现令人印象深刻的22.3倍加速和15.5倍的存储空间。
translated by 谷歌翻译
Vision-Language（V + L）预先润廓模型通过了解图像和文本之间的对齐来支持多媒体应用程序取得了巨大成功。虽然现有的视觉预押模型主要专注于了解文本中的图像或实体中的对象，但它们通常会忽略事件级别的对齐及其参数结构。 ％在这项工作中，我们提出了一种对比的学习框架来强制执行愿景 - 语言预押模型来理解事件和相关参数（参与者）角色。为此，我们利用文本信息提取技术来获得事件结构知识，并利用多个提示函数来通过操纵事件结构来对比难度的负面描述。我们还基于最佳传输来设计事件图对齐损耗以捕获事件参数结构。此外，我们收集了一个大型活动的数据集（106,875张图片），用于预磨平，这提供了更具挑战性的图像检索基准，以评估对复杂冗长的句子的理解。实验表明，我们的零射剪辑事件优于在多媒体事件提取中的参数提取中的最先进的监督模型，从而实现了事件提取中的5±绝对f得分增益，以及显着改进零拍摄设置下的各种下游任务。
translated by 谷歌翻译
由B5G和6G技术驱动，多网络融合是未来通信的不可或缺的趋势。在本文中，我们专注于并分析\弹性{卫星 - 地面下行链路传输}（STDT）的\ emph {安全性能}（sp）。这里，STDT由卫星网络和具有合法移动接收器的车辆网络和移动窃听器分配来组成。为了从移动终端的角度理解分析该系统的SP，采用随机几何论，这假设两个地面车辆在卫星的一个光束中随机分布。此外，基于该理论，STDT中的两个关键和特定指标的闭合形式分析表达分别来源，秘密中断概率和遍历秘密能力。另外，讨论了限制STDT的SP的若干相关变量，并提出了特定方案以增强SP。然后，在高信噪比场景中研究了渐近性，并给出了准确和渐近的闭合形式表达式。最后，仿真结果表明，在保证STDT可靠性的前提下，渐近解决方案优于相应的准确结果，显着提高了效果。
translated by 谷歌翻译